2022-09-19
对3D对象的触觉识别仍然是一项具有挑战性的任务。与2D形状相比，3D表面的复杂几何形状需要更丰富的触觉信号，更灵活的动作和更高级的编码技术。在这项工作中，我们提出了Tandem3D，该方法将共同训练框架应用于探索和决策的框架对3D对象识别具有触觉信号。从我们以前的工作开始，该工作引入了2D识别问题的共同训练范式，我们引入了许多进步，使我们能够扩展到3D。串联3D基于一个新颖的编码器，该编码器使用PointNet ++从触点位置和正态构建3D对象表示。此外，通过启用6DOF运动，Tandem3D以高效率探索并收集歧视性触摸信息。我们的方法完全在模拟中训练，并通过现实世界实验进行验证。与最先进的基线相比，串联3D在识别3D对象方面达到了更高的准确性和较低的动作，并且也证明对不同类型和数量的传感器噪声更为强大。视频可在https://jxu.ai/tandem3d上获得。
translated by 谷歌翻译
2022-03-01
受到人类在完全没有视力（例如从口袋中检索物体检索）进行复杂操作的能力的启发，机器人操纵场是有动力开发用于基于触觉对象的对象交互的新方法的。但是，触觉传感提出了一种主动感应方式的挑战：触摸传感器提供稀疏的本地数据，并且必须与有效的探索策略一起使用以收集信息。在这项工作中，我们专注于指导触觉探索的过程及其与任务相关的决策的相互作用。我们提出了串联（触觉探索和决策），这是一种结合决策，旨在学习有效的探索策略。我们的方法基于用于探索和歧视的单独但共同训练的模块。我们在触觉对象识别任务上演示了此方法，配备触摸传感器的机器人必须仅根据二进制触点信号来探索并识别已知集中的对象。与替代方法相比，串联以较少的作用实现了更高的精度，并且还显示出对传感器噪声更健壮。
translated by 谷歌翻译
使用高维操作空间来控制机器人操纵器来实现灵巧的任务是一个具有挑战性的问题。受到人类操纵的启发，研究人员研究了机器人手的产生和使用姿势协同作用来完成操纵任务，从而利用了协同作用空间的较低维度。但是，其中许多作品需要从现有控制器中获得的预收集数据，以便通过降低维度来得出这样的子空间。在本文中，我们提出了一个框架，该框架同时发现了协同空间和多任务策略，该策略在这个低维操作空间上运作以完成多种操纵任务。我们证明，我们的端到端方法能够使用少量协同作用执行多个任务，并且优于将维度降低降低到独立收集的数据的顺序方法。我们还表明，使用多个任务得出协同作用可以导致一个子空间，该子空间使机器人能够有效地学习新的操作任务以及与新对象的交互。
translated by 谷歌翻译
Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-200%, 8-40%, and 80-290% relative gains against vanilla LMs, a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively.
translated by 谷歌翻译
Neural information retrieval (IR) systems have progressed rapidly in recent years, in large part due to the release of publicly available benchmarking tasks. Unfortunately, some dimensions of this progress are illusory: the majority of the popular IR benchmarks today focus exclusively on downstream task accuracy and thus conceal the costs incurred by systems that trade away efficiency for quality. Latency, hardware cost, and other efficiency considerations are paramount to the deployment of IR systems in user-facing settings. We propose that IR benchmarks structure their evaluation methodology to include not only metrics of accuracy, but also efficiency considerations such as a query latency and the corresponding cost budget for a reproducible hardware setting. For the popular IR benchmarks MS MARCO and XOR-TyDi, we show how the best choice of IR system varies according to how these efficiency considerations are chosen and weighed. We hope that future benchmarks will adopt these guidelines toward more holistic IR evaluation.
translated by 谷歌翻译
We present MegaBlocks, a system for efficient Mixture-of-Experts (MoE) training on GPUs. Our system is motivated by the limitations of current frameworks, which restrict the dynamic routing in MoE layers to satisfy the constraints of existing software and hardware. These formulations force a tradeoff between model quality and hardware efficiency, as users must choose between dropping tokens from the computation or wasting computation and memory on padding. To address these limitations, we reformulate MoE computation in terms of block-sparse operations and develop new block-sparse GPU kernels that efficiently handle the dynamism present in MoEs. Our approach never drops tokens and maps efficiently to modern hardware, enabling end-to-end training speedups of up to 40% over MoEs trained with the state-of-the-art Tutel library and 2.4x over DNNs trained with the highly-optimized Megatron-LM framework.
translated by 谷歌翻译
Google，Amazon和Microsoft等提供商提供的商业ML API已在许多应用程序中大大简化了ML的采用。许多公司和学者都为使用ML API用于对象检测，OCR和情感分析等任务。处理相同任务的不同ML API可能具有非常异构的性能。此外，API的基础模型也随着时间的推移而发展。随着ML API迅速成为一个有价值的市场，并且是消耗机器学习的广泛方式，因此系统地研究和比较不同的API并表征API随时间变化的方式至关重要。但是，由于缺乏数据，目前该主题目前没有被忽视。在本文中，我们介绍了HAPI（API的历史），该数据集由1,761,417个商业ML API应用程序（涉及来自亚马逊，Google，IBM，Microsoft和其他提供商的API），包括图像标签，文本识别和文本识别和文本识别和文本，从2020年到2022年的挖掘。每个实例都由API的查询输入（例如图像或文本）以及API的输出预测/注释和置信分数组成。 HAPI是ML API使用情况的第一个大型数据集，并且是研究ML-AS-A-Service（MLAAS）的独特资源。作为HAPI启用的分析类型的示例，我们表明ML API的性能会随着时间的流逝而大幅变化 - 在特定基准数据集上删除了几个API的精度。即使API的汇总性能保持稳定，其误差模式也可以在2020年至2022年之间在不同的数据子类型中转移。这种更改可能会大大影响使用某些ML API作为组件的整个分析管道。随着时间的流逝，我们进一步使用HAPI研究人口亚组的商业API绩效差异。 HAPI可以刺激MLAA的不断发展领域的更多研究。
translated by 谷歌翻译
部署的机器学习（ML）模型经常遇到与培训数据不同的新用户数据。因此，估计给定模型在新数据上的性能是朝着可靠的ML应用程序迈出的重要一步。但是，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监视设置时通常是这种情况。在本文中，我们提出了一种新的分配移位模型，即稀疏关节移位（SJS），该模型考虑了标签和一些特征的关节移位。这统一并概括了几种现有的偏移模型，包括标签移位和稀疏协变量移位，仅考虑边际特征或标签分布位移。我们描述了SJS可识别的数学条件。我们进一步提出了See，这是一个算法框架，以表征SJS下的分布变化，并估计模型在没有任何标签的新数据上的性能。我们在具有各种ML模型的几个现实世界数据集上进行了广泛的实验。在不同的数据集和分配变化中，看到对现有方法的误差改善（最多达到数量级）的显着（最多）。
translated by 谷歌翻译
故障自然是随机的，而大多数人造系统，尤其是计算机都可以确定地工作。这需要将概率理论与数学逻辑，自动机和切换电路理论联系起来。本文通过量子信息理论提供了这种连接，这是量子物理学遵守概率定律的直观方法。在本文中，我们提供了一种新的方法，用于计算使用基于门的量子计算机开关电路的诊断。该方法是基于将代表叠加错误的量子位放置的想法，并同时诊断出所有的量子，通常是指数级的。我们从经验上将用于诊断的量子算法与基于SAT和模型计数的方法进行比较。对于组合电路的基准，我们在估计故障的真实概率方面建立了不到百分之一的误差。
translated by 谷歌翻译
我们展示了一个端到端框架，以提高人造系统对不可预见的事件的弹性。该框架基于基于物理的数字双胞胎模型和三个负责实时故障诊断，预后和重新配置的模块。故障诊断模块使用基于模型的诊断算法来检测和分离断层，并在系统中产生干预措施，以消除不确定的诊断解决方案。我们通过使用基于物理学的数字双胞胎的平行化和替代模型来扩展故障诊断算法为所需的实时性能。预后模块跟踪故障进度，并训练在线退化模型，以计算系统组件的剩余使用寿命。此外，我们使用降解模型来评估断层进程对操作要求的影响。重新配置模块使用基于PDDL的计划，并带有语义附件来调整系统控件，从而最大程度地减少了对系统操作的故障影响。我们定义一个弹性度量，并以燃料系统模型的示例来说明该指标如何通过我们的框架改进。
translated by 谷歌翻译